Для оценки взят корпус из OpenCorpora со снятой омонимией. Он конвертирован в CONLLU и тегсет Universal Dependencies, насколько это возможно. Всего в корпусе получилось 13208 предложений ( Read more... )

Синтагрус - один из самых популярных корпусов для тренировки русскоязычных POS tagger'ов и парсеров.
И у этой всеобщности есть обратная сторона, о которой не следует забывать.

( Выдача тэггеров UDPipe и Spacy... )

Кроме качества определения частей речи и тегов, у POS Tagger'ов с точки зрения использования во многих реальных проектах есть вторая важная характеристика - скорость. Иногда соображения компромисса вынуждают смириться с некоторой потерей качества ради выигрыша по времени обработки. В конце концов, есть большая разница между 8 и 2 часами на ( Read more... )

PS: В ходе перепроверки выяснилось, что сделанный ранее вывод о проблемах синтагруса неверен. Шаблоны вида:

NP,Acc#значит#NP,Nom,Sing#

соответствуют в том числе предложениям типа:

что значит эта фраза ?

В них аккузатив для "что" определен правильно.
( Read more... )

Привел в порядок и выложил пакет rupostagger - простую (и не SOTA) реализацию алгоритма для разметки слов тегами. Пакет не делает ничего, кроме разметки, поэтому токенизацию надо делать самостоятельно. Я использую пакет под 2 и 3 веткой питона, под Windows и Linux. Батарейки (обученная русская языковая модель) входят в комплект, ничего ( Read more... )

Пока собрано и проверено только для Python 2.7 Windows 64 (Anaconda).

Исходники парсера, сильно отрефакторенные, с новой иерархией для введения абстрагирования от способа вывода результатов парсинга, лежат в репозитории. Сборка выполнена с помощью VisualStudio 2015, соответствующее решение Parser.sln лежит в этой папке. Обертка для вызова C++ кода ( Read more... )

Пожалуй, это последний штрих к модели частеречной разметки Model1.

Странно, что я не сделал это раньше, так что пришлось в шесть утра освежать в памяти, что такое алгоритм Витерби и припаивать его поверх нейросетки (аналогично тому, как это делается в MEMM поверх maxent-классификатора ( Read more... )

Далее будут кратко описаны три модели. Две модели для частичной разметки соответствуют последовательным экспериментам по выбору общей архитектуры. Условно они называются Model1 и Ensemble. Модель лемматизации общая, ансамбль для нее я не делал, хотя это безусловно возможно и даже желательно.

Исходные тексты можно найти на гитхабе: https://github. ( Read more... )

Первая модель - одиночная char-level рекуррентная сетка, LSTM для упаковки контекста слова и softmax-классификатор на выходе ( Read more... )

( acc=0.95 )